线性回归，又称普通最小二乘线性回归或简称OLS回归，是由数学家高斯和勒让德在19世纪初左右独立发展起来的，至今仍有关于谁应该为其发现负责的争论。然而，在它被发现的时候，它实际上并不被称为“回归”‍。这个词在弗朗西斯·高尔顿(Francis galton)的作品之后变得更加流行。高尔顿是英国知识分子中的多面手，也是查尔斯·达尔文的表亲。19世纪晚期，高尔顿研究了近1000名儿童的身高与其父母平均身高(父母中等身高)之间的关系。他惊讶地发现，孩子的身高和父母的平均身高之间并没有完美的关系，一般来说，孩子的身高更有可能在一个接近总体平均身高的范围内。他将这种统计现象描述为“向平庸的回归”(“回归”来自一个拉丁语术语，近似于“回到过去”)。

图1 是高尔顿数据的散点图，黑色实线表示完美的关系，黑色虚线表示儿童平均身高，红色虚线表示Galton17确定的实际关系。你可以把红色虚线视为完美关系的“倒退”(用黑线表示)。这可能会给你一种直觉，有助于你理解本章后面的内容。在任意数据集中，红色虚线可以位于黑色虚点线(没有关系)和黑色实线(完美关系)之间的任何位置。线性回归是指在数据中找到红色虚线，并用它来解释输入数据(x轴)对结果数据(y轴)的解释程度。

 图1 高尔顿对儿童身高的研究引入了“回归”这个术语

线性回归特别适用于我们感兴趣的结果在某种连续尺度上的问题(例如数量、金钱、身高、体重)。对于这种类型的结果，它可以是尝试更复杂的建模方法之前的第一站。线性回归简单且易于解释，分析师通常会接受拟合较差的线性回归，以避免解释更复杂的模型。 下面是一些可以用线性回归方法解决的问题：

你在一家提供四年制本科学位的大型学术机构的生物系担任分析师。本系的学术领导感兴趣的是了解学生在学位课程期末考试中的表现与前三年的表现之间的关系。为了解决这个问题，我们为您提供了过去三年975名毕业生的数据，并要求您创建一个模型，根据每个人在项目前三年的考试成绩来解释每个人的期末考试成绩。第一年的考试分数是0-100分，第二年和第三年的分数是0-200分，最后一年的分数是0-300分。我们将把ugtests数据集加载到会话中，并简要地看一下它。